5Ш 


УДК 004.051 


В.И. Шинкаренко 
Днепропетровский национальный университет железнодорожного транспорта 
им. акад. В. Лазаряна, г. Днепропетровск, Украина 


Знание-ориентированный подход 
к адаптации алгоритмов 


Предлагается методика формирования альтернативно адаптивных алгоритмов. Знания вырабатываются с 
использованием показателей степени превосходства и области превосходства алгоритмов. Для адаптации к 
исходным данным алгоритмов выявляются их атрибуты, по ним исходные данные кластеризуются методом 
максиминного расстояния. Разработано программное обеспечение для построения альтернативно адаптивных 
алгоритмов. Экспериментально исследованы возможности их применения к решению задачи сжатия данных 
без потерь. 


Введение 


Для решения многих задач наука и практика выработали целый ряд методов 
решения, иногда значительно отличающихся друг от друга применяемыми подхо- 
дами, математическим аппаратом и способами обоснования. 

Алгоритмы, реализующие различные методы решения одной задачи, образуют 
некоторое множество функционально эквивалентных (или функционально близких) 
алгоритмов. 

Предметом данного исследования являются функционально эквивалентные, 
нечетко специфицированные [1] алгоритмы, такие, как алгоритмы распознавания 
образов, кластеризации, сжатия данных и др. К таким алгоритмам можно отнести 
практически все алгоритмы искусственного интеллекта. Они отличаются от четко 
специфицированных тем, что могут выполнять свое функциональное назначение не 
однозначно, а лишь в некоторой мере хорошо. 

Функциональная эффективность алгоритмов зависит от множества входных 
данных, к которому они применяются. 

Предлагается, с целью повышения функциональной эффективности алгоритмов 
без дополнительных затрат по их совершенствованию, применить к решению задач 
адаптивные алгоритмы, в терминах [2] — алгоритмы альтернативной адаптации. 

Такая адаптация позволяет взять лучшее, что есть в каждом алгоритме и во 
всех конкретных случаях применять наиболее подходящий алгоритм. 


Постановка задачи 


Пусть имеется несколько (№) нечетко специфицированных алгоритмов [1] с одина- 
ковым функциональным назначением. Для определенности и конкретности далее будем 
рассматривать достаточно представительный класс алгоритмов сжатия данных без 
потерь. Как известно, сжатие данных принципиально невозможно, так как это практичес- 
ки сводится к задаче преобразования вектора из одного пространства в другое, меньшей 
размерности без потери данных [3]. Сжатие данных с последующим восстановлением 
возможно лишь при наличии в данных излишней (шумовой, ненужной) информации 
либо с учетом закономерностей в ее представлении. 

Таким образом, любой алгоритм сжатия на конкретных данных может иметь 
различную функциональную эффективность, проявляющуюся в различной степени 
сжатия данных. 
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Область исходных данных, для которых некоторый алгоритм сжатия будет иметь 
некоторую эффективность не ниже заданной, наперед неизвестно и практически может 
быть определена лишь экспериментально, т.е. после выполнения алгоритма. 

Повысить функциональную эффективность некоторого класса алгоритмов с 
одинаковым функциональным назначением предлагается путем их адаптации к 
исходным данным или частям исходных данных. 

Необходимо выработать методику построения алгоритма альтернативной адап- 
тации и апробировать ее на алгоритмах сжатия данных без потерь. 


Алгоритмы альтернативной адаптации 


Обозначим алгоритмы одинаковой функциональной направленности А, |", ‚ где 
Х — область определения, а У- область значения алгоритмов. В нашем случае А, — 
несколько алгоритмов сжатия, реализованных в программах-архиваторах файлов, 
хЕ Х - множество файлов, подлежащих архивации, уе У- архив файлов. 

Задана р(у)е К* — оценка качества полученных алгоритмом результатов (у ЕТУ), 


для алгоритмов сжатия — размер архива. 
Идея альтернативной адаптации алгоритмов А; отражена в следующем адап- 


тивном алгоритме: 


т 


М 
ны Хи, Х>...Хм. я. Е Ух — М1, Х...Хм. 7 
А, = А, |х А [х -4, |, -... Ах А, [х ПА | › (1) 
1 


где <» _— операция композиции, которая определяет последовательное выполнение 


М 
алгоритмов (краткая форма записи ПА Е ). Алгоритм А, |\"^?^* разбивает область 
1 


определения адаптируемого алгоритма Х наподмножества Х 12 Хх 2... Хх № > Такие, что 


М 
(Ох, =х,\ ЛХ, ПХ, =© и Му, ЕУ,у, Е, | р(у,) < р(у,). (2) 
= 

Алгоритм А, состоит из адаптирующей части А, о. и адаптируемой 


М 
у, > 
ПА | . Функциональное назначение адаптируемои части остается тем же — сжатие 
1 
данных, а адаптирующей — максимально повысить эффективность этой функцио- 
нальности применительно к конкретным входным данным. 


Оптимальным будет такое разбиение множества Х, при котором 5(А,, 4,) | 


будет максимальным. 
Здесь 5(А‚,А,)|, — степень превосходства одного (1-го) алгоритма над другим 


(]-ым) на ограниченном множестве Х [1]: 
РСА, № ) — (А, |) 


1 
А 100. (3) 
| . М сх те | ), (А, | ) 
Задача заключается в разработке алгоритма А, "^^^, чтобы выполнялись 


условия (2) и целевая функция (3) была максимальной, с учетом того, что: 
Р(Ахих, ) * РСА, )+ РСЧх,). (4) 


Такой алгоритм существенно зависит от порядка сбора информации, необходимой 
для адаптации и применения адаптивного алгоритма, что проявляется в режиме адаптации. 
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Режимы адаптации 


Можно говорить о двух режимах адаптации. Назовем СНС (сегодня на сегодня) 
адаптацией такую, при которой данные, к которым необходимо адаптировать 
алгоритм, используются адаптирующим алгоритмом. 

Если адаптирующий алгоритм использует ранее полученные статистические 
данные результатов применения адаптируемых алгоритмов, будем говорить о СНЗ 
(сегодня на завтра) адаптации. 

СНЗ адаптация адаптирует алгоритм к последовательности входных данных, 
при многократном выполнении алгоритма. Адаптация к данным при конкретном 
выполнении использует знания о результатах предыдущих выполнений алгоритма. 

Таким образом, СНС алгоритм адаптируется к самим исходным данным, а СНЗ —к 
потоку входных данных при последовательности выполнений. 

При СНС адаптации адаптирующий алгоритм: 


х, и Е, ре 
А, = ПП А, Ар и, Ар”, (5) 
1 р 


Х; Е) 
где А, | -— алгоритм выделения некоторого подмножества Х р сх, А; и 
ЛХЬУ,, 


алгоритм протоколирования результатов сжатия подмножества Х, алгоритмом 4,, 


А, "5?" ^" — алгоритм разбиения множества Х на подмножества Х\, Х,...Ху. 


Алгоритм А, предназначен для формирования базы фактов (базы данных). 
Применительно к алгоритмам сжатия база фактов может состоять из таких кортежей: 


идентификатор архиватора, атрибуты файла, начальный и конечный размер файла. 
Алгоритм определения всех возможных подмножеств некоторого множества 


х. 
принадлежит к классу МР — алгоритмов [4]. Его (А, |у’) вычислительная сложность 


является О(и!). Такие задачи даже при незначительных размерностях требуют недости- 


жимых вычислительных ресурсов. 
Общепринятый прием снижения вычислительной сложности заключается в пере- 
ходе к приближенным алгоритмам, чаще всего стохастическим, либо упрощении задачи, 
вводя некоторые допущения. 
Пойдем вторым путем. Допустим неравенство (3) можно заменить равенством без 
большого ущерба для результата. Очевидно, что такое предположение для алгоритмов 
будет тем более обоснованным, чем больше и однороднее сжимаемые файлы. 


Тогда алгоритмом А, [у можно выполнить простой перебор элементов х,ЕХ, 
т.е. последовательный выбор файлов для сжатия из обучающей выборки. 

Алгоритм А, также упрощается. Элемент х } добавляется к множеству Х, так, 
что хе, | (4 |,) = шах (4, |). 


Адаптирующий алгоритм СН3З адаптации состоит из двух частей: 
М_К<М№ 


х У Е. р ор е 
А, г ПИ |’ -А, | -А; [у А, | И А, › и И хо. , (6) 


= 2 
где А. — алгоритм извлечения знаний из базы фактов Ри формирования базы знаний О. 
Алгоритм А’, может выполняться заблаговременно, до использования адап- 
тивного алгоритма, однократно или периодически, а А,, — как часть адаптивного 


алгоритма при необходимости сжатия данных. 
Конечно, важным вопросом является вопрос эффективности альтернативной 
адаптации. Для ответа на него выполнен ряд вычислительных экспериментов. 
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Экспериментальные исследования 


Разработан исследовательский комплекс программ ВезСотр, позволяющий выпол- 
нять численные эксперименты с отбором файлов для сжатия, выполнения самого 
сжатия, определения размеров исходных файлов и архивов. 

Для формирования адаптивных алгоритмов сжатия данных отобрано несколько 
алгоритмов и их модификаций, реализованных в 12 архиваторах данных, имеющих 
возможность запуска с командной строки (для выполнения из программы ВезСотр). 

Каждый архиватор имеет от нескольких до десятков параметров, влияющих на 
содержимое архивов и степень их сжатия. В данной работе параметры архиваторов 
фиксированы и выбраны согласно рекомендациям в их Нер‘е, которые предполагают 
наилучшую степень сжатия. Ниже перечислены архиваторы с указанием разработчиков, 
версии, года выпуска и параметров командной строки для запуска архиваторов: 

— Ваг 3.71, Аехапдег КозВа1, 2007, “а -п15 656 аП”; 

— На 0999с, Нату Ниуо1а, 1995, “а2 566 аП\*.*”; 

— Аг 3.14а, АВ} бой\аге, 2006, “а -лп '+ ' БЫБ а”; 

— 7 2р 4.58 Бе, [ог Ра\]оу, 2008, “а -#72 666 аП -тх9”; 

— В21р2 1.0.4, ГаПап Зеухага, 2006, “--Без -К аП\*.*”; 

— АШдр 7.0 Баа1, ЕЗТ$ой сотр, 2007, “-а -п0 аП 6ЬБ.а1=”; 

— ВК 1.04.1 арБа, Масо|т Тау]ог, 2000, “-с БЫБ.гк @ссс2.4хЕ’; 

— Таг 1.12, “-с -К -х --РМез-готлессс1 4х4 --е=бЬЬ Даг”; 

— Пир 1.12, Тесбпеузцит Ру 1., 2000, “а -пт3 БЫБ.пар аП\*.*”; 

— Лаг 1.02, АВ] Зой\мате, 1997, “а -пт4 БЪБ.]аг аП\*.*”; 

— РКИРС(В) 4.00, РКУ/АВЕ 1шс., 2000, “-а4а 66Ъ.71р аП\*.*”; 
Ор 1.3.12, Геап-юир Сашу, “фе а”, 

Е “БББ” — имя архива, “ссс” — имя файла со списком файлов, подлежащих 
архивации, “а!” — имя папки с исходными файлами. 

Сформировано 7 банков данных файлов различных форматов [5] (общая инфор- 
мация в табл.1). 


Таблица 1 — Основные характеристики банков данных 


.. „ | Максимальный 
Банк Формат файлов К-во | Объем | Минимальный .. 
данных (расширение файлов) файлов | БД, Гб | размер файла, 6 о 

1 ВиМар ЕПе (`тр) 3037 | 2,03 104 2,25 

р “е]а-уи” (4]уи) 513 1,19 8990 21,6 

3 Мисгозой У/ога(4дос) 3611 1,31 0 23,0 

4 75ой Раш ВгизВ ЕШе (рсх) 1016 1,73 291 5,23 

5 Рома Ме Роситепе Еога* (рар) | 566 0,79 5955 28,8 

6 Таз Ппазе ЕЦе (Е) 1474 1,42 188 20,2 

7 Миегозой Ехсе1(х15) 6523 1,86 136 20,7 
Всего 16740 | 10,33 0 28,8 


Выполнено два численных эксперимента. 
Подготовка к экспериментам заключается в формировании таблицы фактов. На 
этом этапе выполнен алгоритм А,, применительно ко всем файлам банка данных и 


всех архиваторов. 
Х, > 
Алгоритм А, |х’ (5 -— 6) реализует последовательную выборку одиночного файла из 
банка данных. 
Файлы х, обладают некоторыми свойствами — атрибутами, (х,,а,) — входные 


данные для однократного выполнения алгоритма и а, — набор атрибутов (х,,а,) е ХхА. 
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Для всех данных набор атрибутов включает формат файла и, в зависимости от формата, 
определяются остальные атрибуты. Так, для файлов формата М$ У№ога, определяется 
количество символов, количество строк, количество внедренных объектов МЗ Ехсе|, 
количество внедренных графических объектов. 

Алгоритм А, о (5 — 6) определяет набор и значения атрибутов файла и форми- 
рует базу фактов со следующим содержимым: имя файла, его формат, атрибуты фай- 
ла, размер архива при сжатии каждым архиватором, лучший архиватор для данного 
файла. 

Эксперимент 1. Исследуется СНС и СНЗ адаптация со знаниями на уровне 
форматов файлов. 

Для СНЗ адаптации алгоритм А. | определяет степень превосходства (3) и область 
превосходства [1] алгоритмов архивации отдельно для файлов различного формата. Зна- 
чения степени превосходства 5(А,А,)|, для файлов формата М$ \\№ог4 с доверии- 


|: 


тельными интервалами [1], [6], приведены в табл. 2. Есть явный «лидер» — алгоритм А, . 


Алгоритм А. © формирует базу знаний следующего формата: 


если «формат данных = а», то лучший архиватор Ь. Например, если «формат 
данных = ОДО», то лучший архиватор А... 

Результаты эксперимента показали, что для каждой структуры данных выявлен 
алгоритм, превосходящий остальные на 10... 20 %. 

Однако по области превосходства проявились различия. Для файлов форматов 
х|15, 4ос, раЕ 4]уи область превосходства лидера над остальными алгоритмами 
находится в пределах 86... 99,8 %. То есть лидер был лучшим практически всегда, 
при архивации подавляющего большинства файлов. Иначе лидер появился при 
архивации файлов форматов ЯР, рсх и тр. Его превосходство над некоторыми 
другими архиваторами составила лишь порядка 43 ... 52 %. Здесь лидер был хуже 
практически для половины файлов, хотя по степени превосходства может и явно 
превосходил другие. В табл. 3 показано насколько часто каждый архиватор был 


лучшим при сжатии данных определенного формата. 
Таблица 2 — Степень превосходства 1-го алгоритма над ]-м 

ВЯ А, А, А, А, А; А А; А А А, 0 А, 1 А, 
А | 0,0 [16,65 | 15,095 | 7,9555 | 11,6%. | 15,3233 | 9,0*4з | 15,0°5% | 6,0°54 | 9,855 | 14,455 | 125955 
А, |- 16,650 0,0 |-2,64 |-22,94% |- 6,37 | 2% | 87+ | 2,64% |-114417 | 7,945 | 3,21% | - 4,7 
А, |-15,045 | 2,649 | 0,0 |-216%$|-4,095 | 0,55% |- 6,655 | -3,441% | - 9,640 | - 5,645 |- 0,7454 | -2,3+1 
а а а Е а И 
м. 
Ав |-15,33] 214л |-0,5%5% |-21,9%8 |-4,545 | 0,0 |-7/1*58 |- 0,5% |-10,0513 | 6,24% | -124 | -2,855 
А, |-9.0°45 | ®71л | 6,6%51 |-16,293| 2753 | 71 | 00 | 6,651 |-3,2°5% | 1,0°57 | 6,0553 | 443 
Аь |-15,05% | 2,6°5 | ЗА |-21648 |-4,054| 0,53% |-6,6°7| 0,0 |-9,6-04 |-56*40 |-0,7*07 |-2,2°07 
4% |-6,0°57 | 14 | 96° |-13,5°53 | 5,9°54 | 10,0 | 3,2°50 | 9,654 | 0,0 |415т | 9,055 | 74 
Ар |-9.8°52 | 7,9*45 | 5654 |-175з| Б7Яз | 6,2*45 |-150°57 | 56° |-4/ 37| 050 | 5055 3/47 
А |-14.4'33 | 3,2416 | О/\а |-21.2°% | 3,3555 | 5248 |-6,0553 | О |-9,0%5 |-5,053| 0,0 |-15°3 
А, |-12953| 4791 | 2,353 |-19,754 |-159406 | 2803 |-4/4 | 252% |- ТА |-357'4 7 | 5543 |0, 
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Таблица 3 — Распределение лучших архиваторов по форматам файлов 


Архизнтов т Е ля которых а. а, у % — 
2 35,3 27 7,0 4,8 1,8 28,4 4,8 
4 35,2 2,5 1,7 29,9 0 34,4 1,5 
А. 14,9 0 90,4 6,3 83,4 22,3 9 
А; 6,3 0 0,4 32.7 0,2 9,6 0,4 
р 4,0 0 0 26,4 1,6 0,4 0 
А 0 87,7 0 0 12,8 0,2 0 
А 4,4 7,0 0 0 0,4 4,6 0 
В ходе эксперимента выполнено порядка 4000 опытов. Каждый опыт состоял в 
том, что случайным образом из банка файлов отбиралось от 1 до 500 файлов. При 


этом две трети банка использовались в качестве обучающей выборки, одна треть — 
контрольной. Последовательно выполнялось сжатие каждым архиватором, СНС и 
СНЗ адаптивными архиваторами с пополнением базы фактов. СНС адаптивный 
архиватор выполнял сжатие согласно базы фактов предварительно определенным 
лучшим архиватором. СНЗ адаптивный архиватор сжимал файлы согласно их 
форматов и знаниям о лучшем архиваторе для данного формата. 

Результаты эксперимента показали, что СНЗ адаптивный алгоритм в любых 
случаях и вариантах выполнения имеет положительную степень превосходства над 
отдельными архиваторами. При этом в для смеси файлов различной структуры это 
превосходство достаточно небольшое, порядка 5... 10 %. При гомонизации смеси, в 
случае неудачно выбранного архиватора, степень превосходства СНЗ адаптивного 
алгоритма может доходить до 20 % и более, что наглядно представлено в табл. 4. 


Таблица 4 — Степень превосходства СИЗ адаптивного архиватора 


дохизор Форматы файлов и 
Бир | уч ос рсх раЕ ИЕ х15 |смесь файлов 
А, 0 0,2 8 14 1 0 14 5 
А, 7 0,8 23 0 5 21 8 
А, И 1,1 0 4 0 5 0 4 
А 23 0 14 16 1 16 20 10 
Лучший из А... 4, 0 0 0 0 0 0 0 3 


Интересно, что степень превосходства СНС адаптивного алгоритма по отношению 
СН?З адаптивного составляет всего 0,5 %. Учитывая то, что реализация адаптирующего 
алгоритма в СНС адаптивном требует значительных вычислительных затрат, и то, что эти 
затраты необходимы в момент потребности в архивации этот факт является сущест- 
венным. При СНЗ адаптации сбор фактов и построение базы знаний можно выполнить 
заранее. При этом время архивации СНЗ адаптивным архиватором практически такое же, 
как обычным, а результат всегда лучше и часто значительно лучше. 

Эксперимент 2. Выполняется адаптация алгоритмов к содержимому файлов. 

Знания, необходимые для адаптации, основаны на значениях атрибутов файлов и 
предварительно полученных результатах сжатия. Так как атрибуты у различных форма- 
тов файлов различны, то естественно строить адаптивный алгоритм с учетом форматов. 
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Не целесообразно применять адаптивный алгоритм для файлов формата 4ос, 
х15, Чууи, раЁ, что видно из предыдущего эксперимента. Для этих форматов выявлен 
архиватор, явный лидер, который превосходит остальные почти всегда, и замена его 
другим в тех редких случаях, когда он уступает, очень мало влияет на усредненный 
показатель степени превосходства. 

Остальные исследуемые форматы относятся к графическим. Рассмотрим адапта- 
цию архиваторов к файлам формата ЯР. Он имеет большой набор внешних атрибутов и 
в этом случае три архиватора в основном делят множество файлов на части, в 
которых они лучшие. 

Для исследования выбраны следующие атрибуты: размер файла, высота и 
ширина изображения в пикселах, модель цвета, глубина цвета, способ сжатия, 
вертикальное и горизонтальное разрешение. 

При подготовке к экспериментам значения атрибутов вместе с результатами 
сжатия занесены в базу фактов. 

База знаний формировалась следующим образом. Значения атрибутов нормализова- 
лись. Выполнялась кластеризация методом максиминного расстояния [7], с особенностью 
в том, что новые кластеры образуются, если расстояние до нового центра кластера 
превышает 1/6 среднего межкластерного расстояния (Евклидова). 

Анализ показал, что порядка 70... 80 % кластеров имеют своего лидера среди 
архиваторов, который более чем в 90 % файлов кластера превосходит остальные. 

Эксперимент заключался в отборе 40 ... 150 файлов в качестве обучающей 
выборки и 1... 150 — в качестве контрольной. 

Как оказалось, степень превосходства СНЗ адаптивного алгоритма над алго- 
ритмом А, (лучшим из остальных) составляет 1... 2 %. 


Хотя полученная система знаний хорошо отражает объект моделирования, 
НИЗКИЙ результат объясняется тем, что область превосходства алгоритмов А, 5 м 


приходится на файлы небольших размеров и результаты их сжатия на средние 
размеры влияют мало. Кроме того, неравенство (4) проявилось достаточно сильно. 


Выводы 


Предложенная методика формирования альтернативно адаптивного алгоритма позво- 
ляет повысить функциональную эффективность множества функционально эквивалент- 
ных алгоритмов. Применение СНЗ адаптивных алгоритмов требует предварительной 
подготовки и практически не влияет на временную эффективность алгоритмов, что очень 
важно ввиду больших потребностей в вычислениях алгоритмов искусственного интел- 
лекта, для которых, в основном, и предназначена данная работа. 

Существенным преимуществом СН3З адаптации является: 

— относительно высокая временная эффективность адаптирующей части алгоритма; 
— эксплуатация адаптивного алгоритма в режиме близким к алгоритмам без адаптации; 
— способность алгоритма к дообучению и повышению усредненных показателей 
функциональной эффективности при длительной эксплуатации. 

Предложен критерий оценки эффективности применения знаний в альтерна- 
тивно адаптивных алгоритмах с применением показателей степени и области превосход- 
ства алгоритмов. Эти показатели позволяют оценить потенциальные возможности 
применения альтернативной адаптации алгоритмов. 

Проявление лидера среди альтернативных алгоритмов, имеющего существенную 
степень превосходства над всеми другими алгоритмами и область превосходства более 
90 %, говорит о нецелесообразности адаптации в данной области применения алгоритмов. 
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Ускорить обучение и повысить эффективность адаптирующего алгоритма можно 
за счет знаний, полученных из нескольких источников при применении таких алго- 
ритмов в различных программных продуктах и централизованном сборе информации в 
единой базе фактов. 

Направления дальнейших исследований представляются в следующем. 

Естественно, при первом выполнении алгоритма А, база знаний пуста. В этом 


случае и в случае, когда знаний недостаточно, необходимо предусмотреть некоторую 
стратегию выбора алгоритма сжатия. В качестве такой стратегии может быть предусмот- 
рено поочередное выполнение алгоритмов, случайный выбор алгоритма, выбор в соот- 
ветствии с наперед заданными (и изменяемыми в последствии) приоритетами. 
Множество различных решений имеет и задача формирования базы знаний. 
Отметим, что алгоритмы А, и А. также могут адаптироваться к своим данным. 


В этом случае будем иметь двухуровневую адаптацию. На первом уровне адапти- 
руется алгоритм заданного функционального назначения, а на втором, одновременно 
с ним — адаптирующий алгоритм. 
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Шдхи до адаптацй алгоритм, орентований на знання 

Пропонуеться методика формування альтернативно адаптивних алгоритм. Знання визначаються 3 
застосуванням показникйв ступеня та област! переваги алгоритм. Для адаптаций до вадних даних алгоритм в 
виявляються 1х атрибути, за ними вхадн! дан! кластеризуються методом максимнних в1дстаней. Розроблене 
програмне забезпечення для формування альтернативно адаптивних алгоритмав. Експериментально дослджен! 
можливост! 1х застосування при стисканн! файл без втрат. 
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